六個(gè)月！光大銀行數(shù)倉(cāng)平臺(tái)全量遷移至華為雲GaussDB(DWS)
業(yè)務(wù)挑戰
-
數(shù)據(jù)分散在多個(gè)業(yè)務(wù)系統(tǒng)
多廠(chǎng)商多平臺(tái)導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)體系複雜，數(shù)據(jù)分析技術(shù)準(zhǔn)入門(mén)檻高
多廠(chǎng)商多平臺(tái)導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)體系複雜，數(shù)據(jù)分析技術(shù)準(zhǔn)入門(mén)檻高
-
數(shù)據(jù)加工鏈路長(zhǎng)
數(shù)據(jù)處理複雜度高，監(jiān)管報(bào)送時(shí)效性無(wú)法得到保障
數(shù)據(jù)處理複雜度高，監(jiān)管報(bào)送時(shí)效性無(wú)法得到保障
-
原平臺(tái)擴展性不足
原平臺(tái)無(wú)法滿(mǎn)足業(yè)務(wù)數(shù)據(jù)快速膨脹，應(yīng)用快速發(fā)展的訴求
原平臺(tái)數(shù)據(jù)處理複雜度高，批量作業(yè)時(shí)效性無(wú)法得到保障
解決方案
光大銀行數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)採用集中化建設(shè)模式，降低系統(tǒng)管理成本、技術(shù)複雜度，提升資源配置效率、數(shù)據(jù)一致性，承載30000多個(gè)數(shù)據(jù)模型，每日運(yùn)行30000多個(gè)代碼腳本，數(shù)百萬(wàn)行代碼，數(shù)據(jù)規(guī)模2.3PB。
為了確保業(yè)務(wù)數(shù)據(jù)100%準(zhǔn)確，提升遷移效率，採用代碼轉(zhuǎn)換(huàn)工具、代碼掃描工具、數(shù)據(jù)比對(duì)工具、ETL工具等自動(dòng)化工具箱，覆蓋數(shù)據(jù)量檢查、結(jié)果比對(duì)、自適應(yīng)調(diào)度、批量自愈等場(chǎng)景，遷移效率提升3倍，6個(gè)月完成全量數(shù)據(jù)遷移。
